R Notebook

conflicted::conflict_prefer("year", "lubridate")

[conflicted] Removing existing preference.[conflicted] Will prefer lubridate::year over any other package.

conflicted::conflict_prefer("month", "lubridate")

[conflicted] Will prefer lubridate::month over any other package.

acidentes <- arrow::read_parquet(here("data", "nomes_marotos", "acidentes.parquet"))
condutores <- arrow::read_parquet(here("data", "nomes_marotos", "condutores.parquet"))
passageiros <- arrow::read_parquet(here("data", "nomes_marotos", "passageiros.parquet"))
peoes <- arrow::read_parquet(here("data", "nomes_marotos", "peoes.parquet"))
list(acidentes, condutores, passageiros, peoes)

[[1]]

[[2]]

[[3]]

[[4]]

NA

Dados rápidos sobre os dados, pra ter uma noção do que temos

# skim them
# lapply(dfs, \(x) skimr::skim(x))

Podemos obervar várias coisas: * Colunas com tipos errados (especialmente de caracther) pelo qual vamos ter de corrigir; * As últimas colunas parecem ser dummies de grupo estário, mas com valores de máximo não esperado; Depois de resolver estes problemas, vai ser feita uma análise de cada coluna individualmente e da sua importância à priori.

# join year to every table
acidentes %<>% mutate(year = year(datetime))
condutores %<>% left_join(acidentes %>% select(idAcidente, year), by = "idAcidente")
passageiros %<>% left_join(acidentes %>% select(idAcidente, year), by = "idAcidente")
peoes %<>% left_join(acidentes %>% select(idAcidente, year), by = "idAcidente")

# check if dummies are valid
condutores %>% 
  select(starts_with("GE")) %>% 
  reframe(n_idades = rowSums(.)) %>% 
  dplyr::count(n_idades, sort = T) %>%
  mutate(perc = round(n / sum(n), 4))

        
# for the others too
passageiros %>% 
  select(starts_with("GE")) %>% 
  reframe(n_idades = rowSums(.)) %>% 
  dplyr::count(n_idades, sort = T) %>% 
  mutate(perc = round(n / sum(n), 4))

peoes %>%
  select(starts_with("GE")) %>% 
  reframe(n_idades = rowSums(.)) %>% 
  dplyr::count(n_idades, sort = T) %>% 
  mutate(perc = round(n / sum(n), 4))

NA

As idades dos condutores estão poucas sem idades, e muito poucas com multiplas idades. Não há nenhuma idade de passageiro em falta, mas há algumas com multiplas idades. As idades dos peões estão todas certas.

condutores %>% select(starts_with("GE")) %>% names

 [1] "GE-Contudor_menosOu5"   "GE-Contudor_entre6e9"   "GE-Contudor_entre10e14" "GE-Contudor_entre15e17"
 [5] "GE-Contudor_entre18e20" "GE-Contudor_entre21e24" "GE-Contudor_entre25e29" "GE-Contudor_entre30e34"
 [9] "GE-Contudor_entre35e39" "GE-Contudor_entre40e44" "GE-Contudor_entre45e49" "GE-Contudor_entre50e54"
[13] "GE-Contudor_entre55e59" "GE-Condutor_entre65e69" "GE-Condutor_entre70e74" "GE-Condutor_maisOu75"  
[17] "GE-Condutor_naoDef"    

Há uma categoria missing (GE-Condutor_entre60e64), vamos assumir que ser esses que são 0, e aqueles que são 2 vamos

# options: [1] "GE-Contudor_menosOu5"   "GE-Contudor_entre6e9"   "GE-Contudor_entre10e14"
#  [4] "GE-Contudor_entre15e17" "GE-Contudor_entre18e20" "GE-Contudor_entre21e24"
#  [7] "GE-Contudor_entre25e29" "GE-Contudor_entre30e34" "GE-Contudor_entre35e39"
# [10] "GE-Contudor_entre40e44" "GE-Contudor_entre45e49" "GE-Contudor_entre50e54"
# [13] "GE-Contudor_entre55e59" "GE-Condutor_entre65e69" "GE-Condutor_entre70e74"
# [16] "GE-Condutor_maisOu75"   "GE-Condutor_naoDef"

condutores %>% 
  mutate(n_idades = select(., starts_with("GE")) %>% rowSums()) %>% 
  mutate(`GE-Condutor_entre60e64` = if_else(n_idades == 0, T, F)) %>%
  # change where true to name of col if True
  mutate(grupo_etario = 
    fcase(
      `GE-Contudor_menosOu5`, "< 5",
      `GE-Contudor_entre6e9`, "6 - 9",
      `GE-Contudor_entre10e14`, "10 - 14",
      `GE-Contudor_entre15e17`, "15 - 17",
      `GE-Contudor_entre18e20`, "18 - 20",
      `GE-Contudor_entre21e24`, "21 - 24",
      `GE-Contudor_entre25e29`, "25 - 29",
      `GE-Contudor_entre30e34`, "30 - 34",
      `GE-Contudor_entre35e39`, "35 - 39",
      `GE-Contudor_entre40e44`, "40 - 44",
      `GE-Contudor_entre45e49`, "45 - 49",
      `GE-Contudor_entre50e54`, "50 - 54",
      `GE-Contudor_entre55e59`, "55 - 59",
      `GE-Condutor_entre60e64`, "60 - 64",
      `GE-Condutor_entre65e69`, "65 - 69",
      `GE-Condutor_entre70e74`, "70 - 74",
      `GE-Condutor_maisOu75`, "> 75",
      `GE-Condutor_naoDef`, NA_character_,
      default = NA_character_
    ) %>% factor(levels = c("< 5", "6 - 9", "10 - 14", "15 - 17", "18 - 20", "21 - 24", "25 - 29", "30 - 34", "35 - 39", "40 - 44", "45 - 49", "50 - 54", "55 - 59", "60 - 64", "65 - 69", "70 - 74", "> 75"))
  ) %>% 
  select(-n_idades, -starts_with("GE")) -> condutoresGE

condutoresGE %>% dplyr::count(grupo_etario) %>% arrange(grupo_etario) %>% mutate(perc = round(n / sum(n), 4))

NA

# a mesma coisa para os peoes e passageiros
passageiros %>% 
  mutate(n_idades = select(., starts_with("GE")) %>% rowSums()) %>% 
  mutate(`GE-Passageiro_entre60e64` = if_else(n_idades == 0, T, F)) %>%
  # change where true to name of col if True
  mutate(grupo_etario = 
    fcase(
      `GE-Passageiro_menosOu5`, "< 5",
      `GE-Passageiro_entre6e9`, "6 - 9",
      `GE-Passageiro_entre10e14`, "10 - 14",
      `GE-Passageiro_entre15e17`, "15 - 17",
      `GE-Passageiro_entre18e20`, "18 - 20",
      `GE-Passageiro_entre21e24`, "21 - 24",
      `GE-Passageiro_entre25e29`, "25 - 29",
      `GE-Passageiro_entre30e34`, "30 - 34",
      `GE-Passageiro_entre35e39`, "35 - 39",
      `GE-Passageiro_entre40e44`, "40 - 44",
      `GE-Passageiro_entre45e49`, "45 - 49",
      `GE-Passageiro_entre50e54`, "50 - 54",
      `GE-Passageiro_entre55e59`, "55 - 59",
      `GE-Passageiro_entre60e64`, "60 - 64",
      `GE-Passageiro_entre65e69`, "65 - 69",
      `GE-Passageiro_entre70e74`, "70 - 74",
      `GE-Passageiro_maisOu75`, "> 75",
      `GE-Passageiro_naoDef`, NA_character_,
      default = NA_character_
    ) %>% factor(levels = c("< 5", "6 - 9", "10 - 14", "15 - 17", "18 - 20", "21 - 24", "25 - 29", "30 - 34", "35 - 39", "40 - 44", "45 - 49", "50 - 54", "55 - 59", "60 - 64", "65 - 69", "70 - 74", "> 75"))
  ) %>%
  select(-n_idades, -starts_with("GE")) -> passageirosGE

passageirosGE %>% dplyr::count(grupo_etario) %>% arrange(grupo_etario) %>% mutate(perc = round(n / sum(n), 4))

peoes %>% 
  mutate(n_idades = select(., starts_with("GE")) %>% rowSums()) %>% 
  mutate(`GE-Peão_entre60e64` = if_else(n_idades == 0, T, F)) %>%
  # change where true to name of col if True
  mutate(grupo_etario = 
    fcase(
      `GE-Peao_menosOu5`, "< 5",
      `GE-Peao_entre6e9`, "6 - 9",
      `GE-Peao_entre10e14`, "10 - 14",
      `GE-Peao_entre15e17`, "15 - 17",
      `GE-Peao_entre18e20`, "18 - 20",
      `GE-Peao_entre21e24`, "21 - 24",
      `GE-Peao_entre25e29`, "25 - 29",
      `GE-Peao_entre30e34`, "30 - 34",
      `GE-Peao_entre35e39`, "35 - 39",
      `GE-Peao_entre40e44`, "40 - 44",
      `GE-Peao_entre45e49`, "45 - 49",
      `GE-Peao_entre50e54`, "50 - 54",
      `GE-Peao_entre55e59`, "55 - 59",
      `GE-Peao_entre60e64`, "60 - 64",
      `GE-Peao_entre65e69`, "65 - 69",
      `GE-Peao_entre70e74`, "70 - 74",
      `GE-Peao_maisOu75`, "> 75",
      `GE-Peao_naoDef`, NA_character_,
      default = NA_character_
    ) %>% factor(levels = c("< 5", "6 - 9", "10 - 14", "15 - 17", "18 - 20", "21 - 24", "25 - 29", "30 - 34", "35 - 39", "40 - 44", "45 - 49", "50 - 54", "55 - 59", "60 - 64", "65 - 69", "70 - 74", "> 75"))
  ) %>%
  select(-n_idades, -starts_with("GE")) -> peoesGE

peoesGE %>% dplyr::count(grupo_etario) %>% arrange(grupo_etario) %>% mutate(perc = round(n / sum(n), 4))

# TODO aqui um grafico de barras ficava bem

condutoresF <- condutoresGE %>% 
  mutate(
    anoMatricula = ifelse(anoMatricula < 1900, NA_integer_, anoMatricula),
    lesaoCondutor = lesaoCondutor %>% fct_relevel("Ileso", "Ferido leve", "Ferido grave", "Morto"),
    # categoriaVeiculo tem desconhecido spearado de n definido
    feztesteAlcol   = if_else(testeAlcool %>% str_starts("Submetido"), T, F),
    eraEspecial     = if_else(is.na(tipoVeiculoEspecial), F, T),
    deficienciaPneu = if_else(estadoPneus %>% str_starts("Com"), T, F),
    tinhaSeguro     = if_else(seguroVeiculo %>% str_starts("Não"), F, T),
  ) %>% 
    group_by(idAcidente) %>% 
    mutate(idCondutor = row_number(idAcidente)) %>% 
    ungroup() %>% 
    relocate(idAcidente, idCondutor) %>%
    arrange(idCondutor) %>% arrange(idAcidente) %>% 
    select(-year)
condutoresF %>% 
  select(feztesteAlcol, eraEspecial, deficienciaPneu, tinhaSeguro) %>% 
  summary

 feztesteAlcol   eraEspecial     deficienciaPneu tinhaSeguro   
 Mode :logical   Mode :logical   Mode :logical   Mode:logical  
 FALSE:32974     FALSE:493329    FALSE:485889    TRUE:494471   
 TRUE :462176    TRUE :2653      TRUE :2132      NA's:1511     
 NA's :832                       NA's :7961                    

condutoresF

acidentes %>% dplyr::count(condEstrada) %>% arrange(desc(n)) %>% mutate(perc = round(n / sum(n), 4))

acidentes$interseccao %>% table() %>% prop.table() %>% round(3)

.
         Fora da intersecção                   Em rotunda                Em cruzamento 
                       0.705                        0.042                        0.093 
            Em entroncamento         Em via de aceleração   Em ramo de ligação - saída 
                       0.138                        0.007                        0.002 
     Em via de desaceleração         Em passagem de nível Em ramo de ligação - entrada 
                       0.007                        0.001                        0.006 

acidentesF <- acidentes %>% 
  mutate(
    condEstradaLumped = condEstrada %>% fct_lump_n(1),
    GNR_PSP = GNR_PSP %>% as_factor(),
  ) %>% 
  select(-year)
acidentesF %>% dplyr::count(condEstradaLumped) %>% arrange(desc(n)) %>% mutate(perc = round(n / sum(n), 4))

passageirosGE %>% left_join(acidentesF, by = "idAcidente") %>% filter(distrito.x != distrito.y | concelho.x != concelho.y) %>% nrow

[1] 0

Os distritos dos passageiros é onde aconteceu, não de onde eles são

passageirosF <- passageirosGE %>% 
  select(-GNR_PSP, -distrito, -concelho, -year) %>% 
  relocate(idAcidente, idPassageiro) %>%
  arrange(idPassageiro) %>% arrange(idAcidente) 
passageirosF

peoesGE %>% left_join(acidentesF, by = "idAcidente") %>% filter(distrito.x != distrito.y | concelho.x != concelho.y) %>% nrow

[1] 0

Mesma coisa com os peões

peoesF <- peoesGE %>% 
  group_by(idAcidente) %>% 
  mutate(idPeao = row_number(idAcidente)) %>%
  ungroup() %>%
  relocate(idAcidente, idPeao) %>%
  arrange(idPeao) %>% arrange(idAcidente) %>%
  select(-year, -GNR_PSP, -distrito, -concelho)
peoesF

Npassageiros Npeoes Nveiculos

passageirosF %>% 
  select(idAcidente, idPassageiro) %>% 
  group_by(idAcidente) %>%
  summarise(nPassageiros = n()) -> nPassageiros
peoesF %>% 
  select(idAcidente, idPeao) %>% 
  group_by(idAcidente) %>%
  summarise(nPeoes = n()) -> nPeoes
condutoresF %>%
  select(idAcidente, idCondutor) %>% 
  group_by(idAcidente) %>%
  summarise(nVeiculos = n()) -> nVeiculos
# where is NA it should become 0
acidentesFF <- acidentesF %>% 
  left_join(nPassageiros, by = "idAcidente") %>% 
  left_join(nPeoes, by = "idAcidente") %>% 
  left_join(nVeiculos, by = "idAcidente") %>% 
  mutate(
    nPassageiros = if_else(is.na(nPassageiros), 0, nPassageiros),
    nPeoes = if_else(is.na(nPeoes), 0, nPeoes),
    nVeiculos = if_else(is.na(nVeiculos), 0, nVeiculos),
  )
acidentesFF %>% arrange(desc(datetime)) %>%  select(idAcidente, datetime, nPassageiros, nPeoes, nVeiculos) 

acidentesFF %>% select(nPassageiros, nPeoes, nVeiculos) %>% skimr::skim()

── Data Summary ────────────────────────
                           Values    
Name                       Piped data
Number of rows             327384    
Number of columns          3         
_______________________              
Column type frequency:               
  numeric                  3         
________________________             
Group variables            None      

sitios com carros nulos

# eg: 20201820097

acidentesFF %>% filter(idAcidente == 20201820097) %>% t()

                   [,1]                                                                  
idAcidente         "20201820097"                                                         
datetime           "2019-12-30 18:45:00"                                                 
GNR_PSP            "PSP"                                                                 
velocidadeLocal    "50"                                                                  
velocidadeGeral    "50"                                                                  
DiaSemana          "Segunda-Feira"                                                       
Latitude           "38.7169"                                                             
Longitude          "-9.237371"                                                           
nMortos            "0"                                                                   
nFeridosGraves     "0"                                                                   
nFeridosLigeiros   "1"                                                                   
AutoEstrada_SemSep "Outra via"                                                           
condEstrada        "Seco e limpo"                                                        
distrito           "Lisboa"                                                              
concelho           "Oeiras"                                                              
freguesia          "União das freguesias de Algés, Linda-a-Velha e Cruz Quebrada-Dafundo"
povProxima         "Linda a Velha"                                                       
nomeRua            "Alameda António Sérgio"                                              
tipoVia            "Arruamento"                                                          
nomeVia            "0"                                                                   
estadoEstrada      "Em bom estado"                                                       
kmDaEstrada        NA                                                                    
condAtmosferica    "Bom tempo"                                                           
sentido            "Dois sentidos"                                                       
interseccao        "Fora da intersecção"                                                 
localOuNao         "Dentro das localidades"                                              
luminosidade       "Noite, com iluminação"                                               
marcasRua          "Com marcas - separadoras de sentido e de vias de trânsito"           
oqaconteceu        "Atropelamento com fuga"                                              
obraArte           NA                                                                    
obstaculos         "Inexistentes"                                                        
sentidoAutoEstrada NA                                                                    
sinalizacao        "Outros"                                                              
sinaisLuminosos    "A funcionar normalmente"                                             
tipoPiso           "Betuminoso"                                                          
recta_curva        "Recta"                                                               
inclinacao         "Em patamar"                                                          
bermasEstrada      "Berma pavimentada"                                                   
tipoPista          "Em plena via"                                                        
via_transito       "Direita"                                                             
condEstradaLumped  "Seco e limpo"                                                        
nPassageiros       "0"                                                                   
nPeoes             "1"                                                                   
nVeiculos          "0"                                                                   

nsei, whtv

Lat and long

# ver as latitudes e longitudes
acidentesFF %>% 
  arrange(desc(datetime)) %>% 
  #filter(distrito == "Viseu") %>% 
  select(datetime, Latitude, Longitude, GNR_PSP)

# filtrar pelos que a longitude e latitude são NA
acidentesFF %>% 
  arrange(desc(datetime)) %>% 
  #filter(distrito == "Viseu") %>% 
  filter(Longitude %>% is.na | Latitude %>% is.na) %>% 
  mutate(year = year(datetime)) %>% 
  group_by(year) %>% 
  summarise(
    n = n(), 
    prop = n / nrow(.), 
    propTotal = n / nrow(acidentesFF)
  ) %>%
  # prop by year
  left_join(
    acidentesFF %>% 
  #    filter(distrito == "Viseu") %>% 
      group_by(year = year(datetime)) %>% 
      summarise(nTotalYear = n()), 
    by = "year") %>% 
  mutate(propYear = n / nTotalYear) %>% 
  select(
    year = year,
    `N acidentes` = nTotalYear,
    `N acidentes com lat/long NAs` = n,
    `prop acidentes com lat/long NAs` = prop,
    `prop acidentes com lat/long NAs sobre o total de acidentes` = propTotal,
    `prop acidentes com lat/long NAs sobre o total de acidentes/ano` = propYear
  ) 

# a mesma coisa so que com longitude ou lat == 0

acidentesFF %>% 
  arrange(desc(datetime)) %>% 
  #filter(distrito == "Viseu") %>% 
  select(datetime, Latitude, Longitude, GNR_PSP) %>% 
  filter(Longitude == 0 | Latitude == 0)

acidentesFF %>% 
  arrange(desc(datetime)) %>% 
  #filter(distrito == "Viseu") %>% 
  filter(Longitude == 0 | Latitude == 0) %>% 
  mutate(year = year(datetime)) %>% 
  group_by(year) %>% 
  summarise(
    n = n(), 
    prop = n / nrow(.), 
    propTotal = n / nrow(acidentesFF)
  ) %>%
  # prop by year
  left_join(
    acidentesFF %>% 
      #filter(distrito == "Viseu") %>% 
      group_by(year = year(datetime)) %>% 
      summarise(nTotalYear = n()), 
    by = "year") %>% 
  mutate(propYear = n / nTotalYear) %>% 
  select(
    year = year,
    `N acidentes em Viseu` = nTotalYear,
    `N acidentes com lat/long 0` = n,
    `prop acidentes com lat/long 0` = prop,
    `prop acidentes com lat/long 0 sobre o total de acidentes` = propTotal,
    `prop acidentes com lat/long 0 sobre o total de acidentes/ano` = propYear
  )

São ainda alguns com invalidos por ano, ainda assim não se justifica excluir a coluna diretamente No entanto, há uma grande quantidade de NAs antes de 2014, ptt será melhor excluir esses anos se não se conseguir obter as localizações.

So (quase) há NAs até 2013, mas são todos GNR Os que são 0 segue um padrão estranho, mas são todos PSP Podemos usar um api para obter as localizações se tiverem os sitios dos acidentes

# https://operations.osmfoundation.org/policies/nominatim/
# nominatimlite::geo_lite("rotunda da barrosa")

acidentesFF %>%
  filter(distrito == "Viseu") %>%
  filter(
    is.na(Latitude) | 
    is.na(Longitude) | 
    Latitude == 0 |
    Longitude == 0
  ) %>% 
  select(idAcidente, datetime, Latitude, Longitude, nomeRua) -> temp
temp

# check which nomeRua is also NA
temp %>% 
  filter(nomeRua %>% is.na) %>%
  group_by(year(datetime)) %>%
  summarise(n = n(), prop = n / nrow(.), propTotal = n / nrow(acidentesFF))

# compared to all
temp %>% 
  group_by(year(datetime)) %>%
  summarise(n = n(), prop = n / nrow(.), propTotal = n / nrow(acidentesFF))

Excluindo < 2014, são só 8+5 acidentes que não têm nomeRua

# get them
acidentesFF %>% 
  filter(distrito == "Viseu" & nomeRua %>% is.na & year(datetime) >= 2014) %>% 
  filter(
    is.na(Latitude) | 
    is.na(Longitude) | 
    Latitude == 0 |
    Longitude == 0
  )

nenhum é numa rotunda.

Falta analisar aqueles fora da área de Portugal, mas estas se calhar dps de filtrar

# NAs per month of 2019
acidentesFF %>% 
  filter(year(datetime) == 2019 | year(datetime) == 2018) %>% 
  filter(
    Latitude == 0 |
    Longitude == 0
  ) %>% 
  group_by(year(datetime), month(datetime, label = T)) %>% 
  summarise(n = n())

`summarise()` has grouped output by 'year(datetime)'. You can override using the `.groups` argument.

é bue interessante que as lats e longs a == 0 de 2019 começa em dezembro de 2018 e acaba em setembro de 2019

rotundas

acidentesFF %>% 
  mutate(
    rotunda = ifelse((!is.na(interseccao) & interseccao == "Em rotunda") | (!is.na(nomeRua) & nomeRua %>% stringr::str_to_lower() %>% stringr::str_detect("rotunda")), T, F)
  ) -> rotundas
rotundas %>%  group_by(rotunda) %>% summarise(n = n(), prop = n / nrow(.))

# filtrar por viseu
rotundas %>% 
  filter(distrito == "Viseu") %>% 
  group_by(rotunda) %>% summarise(n = n(), prop = n / nrow(.), propTotal = n / nrow(acidentesFF))

São pouquinhos mas sao ainda 500-900

# get carlos lopes
rotundas %>% filter(nomeRua %>% str_to_lower() %>% str_detect("carlos lopes")) %>% filter(distrito == "Viseu")

Todas elas têm interseccao “Em rotunda”, mas cagativo

acidentesFiltradoWOLATLONG <- acidentesFF %>%
  # rotundas
    filter(
      (!is.na(interseccao) & interseccao == "Em rotunda") | 
      (!is.na(nomeRua) & nomeRua %>% stringr::str_to_lower() %>%  stringr::str_detect("rotunda"))
    ) %>%
  # tirar < 2014
    filter(year(datetime) >= 2014) %>%
  # viseu
    mutate(EmViseu = ifelse(distrito == "Viseu", T, F)) %>%
  # é 2019 (tem aquele problema das lats e long)
    mutate(Em2019 = ifelse(year(datetime) == 2019, T, F))
acidentesFiltradoWOLATLONG

agr as analises das lats e longs com os filtrados para facilitar

Fora das caixas

Só 5 fora da caixa, faz me pergunar quantas estão dentro da caixa mas erradas

há bue pontos fora das areas (10%), o que implica que há bue pontos com lat e long erradas

eu tirava as coordenadas mas sei lá, o que vou fazer é normalizar baseado nas caixas do botas

As proximas features e melhor noutro lugar?

if (TRUE) {
  write_parquets(
    "cleaned",
    acidentesFiltrado, condutoresF, passageirosF, peoesF,
    substitute = FALSE
  )
}

# check if wrote
arrow::read_parquet(here("data", "cleaned", "acidentes.parquet"))